Năm 1884, Jughashvili rời bỏ gia đình và chuyển lên Tiflis.[11][lower-alpha 5] Ông làm việc lại trong công xưởng Adelkhanov, thường xuyên gửi tiền về cho Keke, cầu mong hòa giải xung đột nhưng mọi nỗ lực làm vậy đều bất thành.[18]

Jughashvili đã rất tức giận khi Keke cho Ioseb lên trường, sở dĩ vì ông muốn con trai nối nghiệp mình và trở thành một thợ đóng giày.[19] Năm 1890, Ioseb bị đâm trọng thương bởi một cỗ xe ngựa phaeton.[20] Jughashvili quay về Gori để đưa con trai lên Tiflis chữa bệnh. Sau khi Ioseb hồi phục, Jughashvili sắp xếp cho cậu thực tập đóng giày ở xưởng Adelkhanov.[21] Keke quyết liệt phản đối điều này và sử dụng các mối quan hệ trong giáo hội để bắt Ioseb về Gori, tiếp tục tu dưỡng nghiệp linh mục.[22] Sự biến này cũng đánh dấu lần tiếp xúc trực tiếp cuối cùng giữa Jughasvhili với con trai hoặc vợ, vì ngay sau đó ông bắt đầu hạn chế liên lạc và cắt hỗ trợ tài chính cho hai mẹ con.[23]

Ít lâu sau khi Ioseb rời Tiflis, Jughashvili dường như không làm việc cho xưởng Adelkhanov nữa. Ông đóng giày một thời gian cho một quầy hàng tại khu chợ phiên Armenia ở Tiflis và không có nhiều thông tin về các hoạt động sau đó của ông.[24] Ông vẫn giữ liên lạc với Ioseb, thỉnh thoảng gửi cho cậu các đôi giày do ông làm thủ công.[25] Jughashvili còn có một vai trò cuối cùng trong cuộc đời của con trai: vào tháng 1 năm 1900, Ioseb bị bắt giữ lần đầu tiên dựa trên cáo buộc nợ thuế nông nô của cha mình ở Didi Lilo, mặc dù Jughashvili không còn sống ở đây nữa. Không rõ vì sao Ioseb bị bắt thay vì Jughashvili, người mà vẫn đang lưu trú ở Tiflis; Kotkin cho rằng đây là nước cờ của cảnh sát nhằm cảnh cáo Stalin vì các hoạt động cách mạng của ông trong thời kỳ này.[26]

Tháng 8 năm 1909, Jughashvili nhập viện Mikhailovsky ở Tiflis với đủ loại bệnh trong người: lao, viêm đại tràng và viêm phổi mạn tính.[27] Ông từ trần vào ngày 12 tháng 8 năm 1909; nguyên nhân cái chết được khai là xơ gan. Chỉ duy nhất một đồng nghiệp đóng giày dự đám tang của Jughashvili và thi hài ông được an táng tại một nghĩa địa vô danh ở Telavi.[28] Vị trí chính xác của nấm mộ không được xác định mãi tới tận năm 1972, khi nguyên Bí thư thứ nhất Đảng Cộng sản Gruzia là Kandid Charkviani dẫn đầu nỗ lực tìm lại và đánh dấu phần mộ; tuy nhiên không rõ là hài cốt Jughashvili còn nằm bên dưới hay không.[29] Trước đó, Charkviani đã dốc sức tìm kiếm ảnh chân dung của Jughashvili, có dịp mang hàng đống ảnh tới chỗ Stalin để ông ta nhận mặt; tuy nhiên, sau một hồi xem xét, Stalin không nhận ra ảnh nào là ảnh cha mình.[30] Hiện chỉ có duy nhất một chân dung được cho là thuộc về Jughasvhili, song thật hay giả thì vẫn chưa thể xác định.[31]